A Dual-Expert Strategy Integrating LLMs to Mitigate Negative Transfer in Cross-Domain Sequential Recommendation
缓解跨域序列推荐负迁移的双专家 LLM 策略
🧭 跨域序列推荐 · 负迁移抑制 ★ 深度解读
SK Telecom · KAIST
提出 DuELRec，用域门控双专家与双采样对比学习抑制 LLMRec 跨域负迁移
📌 工作参考价值（4 点）
- 多域/多场景推荐若出现负迁移，可设计同域/跨域双专家结构，分别用同域因果 mask 和跨域因果 mask 建模，再通过逐 item 门控融合；门控权重可视化能快速定位哪些域需要更强单域信号。
- LLM 做序列推荐不要只做 token 级自回归，应在 LLM 输出后增加 item-aware attention transformation，把 subtoken 聚合为 item 表示并在 item 级做 block causal mask，强制捕获协同信号，避免纯文本模式误导。
- 负采样不要只用同域负样本，加入 30%-50% 跨域负样本（论文 p=0.4）可以增强跨域判别能力，改动小、收益稳定，适合电商跨品类召回或广告多场景排序。
- ID-free 检索式 LLMRec 适合冷启动与新域扩展，但 warm item 通常弱于 IDRec；通过上述 item 级协同信号可同时提升 cold/warm，且无需为新 item 重训。工程上可用冻结 LLM + LoRA + 两个浅层 transformer expert 控制延迟，线上预建 item embedding 索引做相似度检索。